PRIME:预检索索引建模与增强结构化文档检索
🧭 索引侧优化 · 层次检索与语义重构 ★ 深度解读
The Hong Kong University of Science and Technology (Guangzhou)
确定性元数据匹配结构化分块检索质量,嵌入计算降45.8倍,语义重构再提升Answer-F1 13.7%
📌 工作参考价值(4 点)
- 轻量元数据索引替代全量分段嵌入:对商品详情页/活动页等结构化长文档,可仅用标题+类目标签+关键属性词+页面标题树构建元数据向量(如 BGE-small 384 维),配合 BM25 做粗筛,能在保持检索质量的同时把 embedding 计算量和索引向量数降低 1-2 个数量级,适合大规模电商语料成本敏感场景。
- 两阶段层次化检索架构:先用 metadata 粗筛候选(BM25+稠密向量 RRF),再用 cross-encoder 对 section/字段级精排,避免 query 时调用大模型 rerank,且能精确送回 top 相关小节,适合商品详情页/用户手册等多段式文档的 Agent 引用。
- LLM 重写提升上下文密度:SR 的 explication+compression 可提高上下文语义密度,让下游生成用更少 token 达到更高 QA 质量,但会牺牲 BM25 词面匹配;实践中应保留原始文本索引,或做 hybrid 融合,防止 lexical 信号丢失。
- 先做语料结构审计:无稳定标题树/短文本语料(类似 NFCorpus),元数据抽取可能有害;可在全量改造前抽样评估 heading 覆盖、段落长度分布、词面重叠度,决定是否采用索引侧重构。
文档结构是否提升密集检索?双语料四机制安慰剂对照消融
🧭 RAG 密集检索 · 文档结构消融
Center for Research Computing, University of Notre Dame
在双语料上做安慰剂对照消融,证明结构对齐分块与真实标题路径能小幅但稳定提升稠密检索 nDCG
📌 工作参考价值(4 点)
- 做商品文档/详情页 RAG 时,尽量按标题、段落等结构对齐分块,而不是固定窗口;给 chunk 加真实标题路径可小幅提升检索 nDCG,成本不高。
- 避免把标题路径等元数据当任意 token 前缀:收益来自语义内容,不是文本扰动;打乱或占位符无效,所以要保留真实结构语义。
- 分层两阶段检索在业务里可能不如单阶段,尤其第一阶段 section 召回率是瓶颈;上线前需对比单阶段与两阶段的 recall/nDCG。
- LLM 重建文档结构不一定优于原始结构,Wikipedia 上原始结构更好,QASPER 上无差异;不要盲目用 LLM 诱导结构,按语料做小样本验证。
LightMem-Ego:面向日常生活的轻量级流式多模态记忆系统
🧭 多模态记忆 · 层次化检索生成
Zhejiang University · South China University of Technology · Central China Normal University · Lenovo Group Limited
一个可部署在手机和AI眼镜上的层次化多模态记忆系统,支持连续积累、组织与检索日常经历
📌 工作参考价值(4 点)
- 对话推荐Agent的记忆架构:将用户行为流组织为“当前/短期/长期”三层记忆,与电商对话推荐中实时意图、近期行为、长期偏好的分层建模直接对应,可参考其时间对齐与路由检索机制。
- 流式多模态积累:对用户第一人称视频、音频流持续处理并按统一时间线存储,可迁移到直播推荐、短视频推荐中对用户行为的细粒度时序建模。
- 查询驱动的动态路由:根据问题类型自动选择检索深度(如只需短期记忆的“东西放哪儿”vs需长期记忆的“习惯分析”),可用于智能客服或推荐解释中的上下文选择。
- 轻量部署设计:系统在端侧运行,推荐系统的在线特征存储与实时召回也可借鉴其内存压缩与分层方案,降低延迟与资源消耗。
SproutRAG:注意力引导的树搜索与渐进式嵌入用于长文档RAG
🧭 RAG长文档检索 · 层级树状检索
University of British Columbia · ServiceNow Research
利用学习到的句子间注意力构建二叉分块树,实现无外部LLM调用的多粒度层次检索,平均信息效率提升6.1%
📌 工作参考价值(4 点)
- 对于电商RAG场景(如长商品描述、用户评论聚合),可借鉴其基于句子级注意力自动构建语义树的方法,替代昂贵的LLM分块,降低索引延迟和成本。
- 多粒度beam search在召回侧能同时捕捉细节与上下文,可应用于广告文案生成中的多尺度信息检索,提升信息覆盖度。
- 端到端联合训练embedding与树结构的思想,可迁移到推荐系统的层级user/item表征学习,如构建多粒度的Semantic ID树,提升检索效率与效果。
- 注意力头选择的机制暗示了在特定领域(如商品属性)可预先分析哪些注意力模式更有效,定制化剪枝或微调,避免重复推理。
MemForest:基于层次时态索引的高效Agent记忆系统
🧭 Agent记忆系统 · 层次时态索引 ★ 深度解读
National University of Singapore · Zero Gravity Labs
通过并行提取与层次时态索引,实现Agent记忆的局部更新与时间感知检索,大幅提升写入吞吐
📌 工作参考价值(4 点)
- 时态树组织用户状态:将用户偏好、行为轨迹等记忆按时间组织为MemTree,天然支撑“状态演变查询”,避免扁平向量检索丢失时间顺序,适合电商场景中用户偏好迁移、行为序列推断。
- 局部更新与惰性刷新:修改仅影响脏节点路径,避免全量重写Profile或Summary,大幅降低在线更新成本,适合高并发会话流下的实时记忆维护。
- 并行提取提升写入吞吐:将长会话切分为短块并行调用LLM,再通过事实规范化合并,可迁移到推荐系统中对用户长行为序列的实时摘要生成,加速记忆构建。
- 多粒度检索平衡效率与精度:从粗粒度树摘要快速召回,再细粒度浏览,避免全库向量搜索开销,适合多智体系统的上下文召回或检索增强生成中的高效证据定位。